[中級編]LLMへ至る道~RNNってやつがいるらしい~[9日目]

LLMへ至る道 Advent Calendar 2023

#機械学習

#LLM

#自然言語処理

クルトン

2023.12.09

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

みなさんこんにちは！クルトンです。

前回は、単語を埋め込むとはどういう事かを説明し、Word2Vecを動かしていきました。

本日は、文脈を考慮した単語埋め込みをしているモデルをご紹介する前に2つのモデルをご紹介したく、その1つ目に関するブログになります。

RNNってなんだ？をイメージで掴む

RNNと書かれていますが、日本語に訳すと再帰型ニューラルネットワークといいます。ニューラルネットワークについては以前ご紹介した内容を覚えておいででしょうか？もし「忘れちゃったよ！」という方は下記ブログをご参照いただければ幸いです！

ここで気になるとすれば、再帰型の部分ではないでしょうか？ニューラルネットワークにおいて、再帰的に考慮した出力をするという意味ですが言葉だけでは伝わりづらいかもしれないので、まずはイメージずを確認していきましょう！ road-to-llm-advent-calendar-2023-09-01

上の図ではhが出力で、xが入力です。xの入力はある文で単語ごとに分けたものだと想像してください。

図の矢印を確認してください。h3(3番目の出力)を確認するには、それの前の出力h2と新しい入力であるx3から計算します。そして、h2という出力は、h1という出力とx2という入力を考慮しています。

つまり、 「現在出力しようとしているもの以前の情報を考慮した出力結果が得られる」というものがRNNです。

上のような図は、順方向(前から後ろに順番)に出力結果を確認しているので、順方向RNNと呼ばれます。「順番である」という方向の話から想像できるかもしれないのですが、逆方向というものもあります。それが下の図で表しているものです。

road-to-llm-advent-calendar-2023-09-02

順方向RNNとは矢印が逆である以外の考え方は同じです。

簡単なコード例

Google Colab(ランタイムはCPU)で簡単に動かせるコード例を記載します。ご興味がある方はご確認ください。(なお、損失関数などは定義していないです。)

import torch
import torch.nn as nn

# RNNモデルの定義
class SampleRNN(nn.Module): # nn.Moduleを継承
    def __init__(self, input_size, hidden_size, output_size):
        super(SampleRNN, self).__init__() # 継承したクラスのメソッドを実行

        # モデルの各種を設定をする
        self.hidden_size = hidden_size
        self.rnn = nn.RNN(input_size, hidden_size, batch_first=True)
        self.fc = nn.Linear(hidden_size, output_size)

    def forward(self, x):
        out, _ = self.rnn(x) # RNNの機構を使って出力する
        out = self.fc(out[:, -1, :]) # 出力結果をまとめる
        return out

# モデルのインスタンス化
input_size = 10  # 入力時のデータのサイズを指定(特徴量と呼ぶ)
hidden_size = 20  # 隠れ層の設定
output_size = 2  # 出力時のデータのサイズを指定
model = SampleRNN(input_size=input_size, hidden_size=hidden_size, output_size=output_size)

# ダミーデータの生成
sequence_length = 5  # 1組のデータの個数を指定
batch_size = 3  # 何組のデータを作るか指定するのに使う
# input_size個で1つとする入力データ(機械学習モデル1回の学習にあたりsequence_length個使う)をbatch_size回分ランダムな値で作成
input_data = torch.rand(batch_size, sequence_length, input_size) 

# モデルの実行
output = model(input_data)
print(f"{batch_size}個のそれぞれの出力結果:\n{output}")